ScalarLens: Numerical Embeddings with Stable Coordinates and Contextual Responses for CTR Prediction
ScalaRLens：面向 CTR 预测的稳定坐标与上下文响应数值嵌入
🧭 数值特征嵌入 · 坐标-响应解耦 ★ 深度解读
Ant Group · Independent Researcher · Alibaba Inc. · Henan Polytechnic University
将数值 embedding 解耦为稳定坐标与上下文响应，在 27 个 CTR 设置中 25 个排名第一
📌 工作参考价值（5 点）
- 可直接在现有 CTR 主线上以轻量模块替换数值 embedding 层，只输出 numerical token，不改 categorical token 和 backbone；坐标与响应分离后，上下文不会再重写数值的原始位置，适合需要审计数值特征不变量的业务场景。
- 抛弃线上/离线 normalization 同步，直接用原始数值尺度训练和推理，把 fitted ranges 和 mesh 存进 checkpoint，减少特征 pipeline 的存储、I/O 和一致性维护成本；在特征来源多、版本独立的电商/广告系统中尤其省事。
- 共享低秩 UV 算子 + field-specific gate/drive + 固定步数有界更新，推理额外开销仅约 13%，训练优化后延迟低于 DEER；工程上容易控制算力预算。
- 消融显示 categorical context 是可靠响应信号，numerical context 只是辅助；业务落地时可以优先只用类别特征做条件，降低复杂度，同时保留数值坐标的单调性和可解释性。
- 稀有上下文收益更大（Criteo rare 组 margin 0.0012–0.0016 vs common 0.0007），对长尾用户/低频场景有参考价值。